A study of n-gram and decision tree letter language modeling methods

The goal of this paper is to investigate various language model smoothing techniques and decision tree based language model design algorithms. For this purpose, we build language models for printable characters (letters), based on the Brown corpus. We consider two classes of models for the text generation process: The n-gram language model and various decision tree based language models. In the rst part of the paper, we compare the most popular smoothing algorithms applied to the former. We conclude that the bottom-up deleted interpolation algorithm performs the best in the task of n-gram letter language model smoothing, signi cantly outperforming the back-o smoothing technique for large values of n. In the second part of the paper, we consider various decision tree development algorithms. Among them, a K-means clustering type algorithm for the design of the decision tree questions gives the best results. However, the n-gram language model outperforms the decision tree language models for letter language modeling. We believe that this is due to the predictive nature of letter strings, which seems to be naturally modeled by n-grams. Zusammenfassung Das Ziel dieses Beitrags ist verschiedene Techniken zur Glattung von Sprachmodellen und Algorithmen zum Entwurf von Sprachmodellen auf der Basis von Entscheidungsb aumen zu untersuchen. Zu diesem Zweck verwenden wir den BrownKorpus umModelle von Buchstabenfolgen zu erstellen. Wir betrachten zwei Klassen von Modellen zur Textgenerierung: das n-Gramm Sprachmodell sowie verschiedene auf Entscheidungsbaumen basierende Verfahren. Im ersten Teil dieses Beitrags vergleichen wir die am h au gsten benutzten Glattungsalgorithmen angewandt auf n-Gramme. Wir folgern, da der \bottom-up deleted interpolation"-Algorithmus am besten zur Glattung von n-Gramm Sprachmodellen geeignet ist und f ur gro e n dem \back-o "-Verfahren deutlich  uberlegen ist. Im zweiten Teil dieses Beitrags betrachten wir dann verschiedene Algorithmen zur Bildung von Entscheidungsbaumen. Unter diesen erzielt ein K-means- ahnlicher Algorithmus die besten Ergebnisse beim Entwurf der Fragen die der Entscheidungsbaum stellt. F ur die Modellierung yCorresponding author. E-mail: [email protected]. von Buchstabenfolgen erzielt das n-Gramm Sprachmodell aber trotzdem noch bessere Ergebnisse als alle Entscheidungsb aume. Wir glauben, da dies durch die Fahigkeit der n-Gramme Buchstabenfolgen vorherzusagen begr undet ist. R esum e Le but de cet article est d' etudier di erentes techniques de lissage de mod eles de langage et di erents algorithmes de construction de mod eles de langage a base d'arbres de d ecision. Pour cela, nous construisons des mod eles de langage pour des caract eres ecrits (lettres) a partir du Brown corpus. Nous consid erons deux classes de mod eles pour le processus de g en eration du texte : le mod ele de langage n-gram, et di erents mod eles de langage a base d'arbres de d ecision. Dans la premi ere partie de l'article, nous comparons les algorithmes de lissage les plus couramment appliqu es au mod ele de langage n-gram. L'algorithme \bottom-up deleted interpolation" donne les meilleurs r esultats pour le lissage du mod ele de langage n-gram, d epassant de fa con signi cative la technique de lissage \back-o " pour de grandes valeurs de n. Dans la seconde partie de l'article, nous consid erons di erents algorithmes de d eveloppement d'arbres de d ecision. Parmi eux, un algorithme de type classi cation K-means aboutit aux meilleurs r esultats pour la construction des arbres de d ecision. Cependant, le mod ele de langage n-gram fournit de meilleurs r esultats que les mod eles de langage a arbres de d ecision pour la mod elisation du langage ecrit. Nous croyons que cela est dû a la nature pr edictive des châ nes de caract eres, qui semble être naturellement mod elis ee par les n-grams.